Розділ 1 ІНФОРМАЦІЙНІ МОДЕЛІ СИГНАЛІВ 1.1. Кількість інформації і невизначеність. Ентропія як міра невизначеності Будь -який інформаційний пристрій працює за єдиною схемою (рис. 1.1). На вхід пристрою подається сукупність повідомлень  EMBED Equation.3 
. Завдання пристрою полягає в тому, щоб передати множину цих повідомлень з достатньо високою достовірністю, або, іншими словами, щоб перевести вектор повідомлень на вході  EMBED Equation.3 
 у відповідний йому вектор повідомлень на виході  EMBED Equation.3 
 без помилок або із допустимими помилками.  EMBED Visio.Drawing.6 
 Рис. 1.1. Узагальнена схема передачі інформації В процесі передачі повідомлення може піддаватися численним перетворенням, які істотно змінюють його фізичні характеристики. Проте сама інформація повинна залишатися інваріантною при всіх перетвореннях. Природно, що кількість інформації, яка отримана на виході пов'язана з невизначеністю, яка мала місце щодо повідомленнь на вході. У зв'язку з цим необхідно ввести кількісну міру оцінки інформації і невизначеності повідомлень, які передаються . Фундаментальним питанням теорії інформації є питання про кількісну міру інформації. Необхідно відзначити, що інформація з’являється у споживача тільки після отримання повідомлення, тобто в результаті досліду. Повідомлення, отримане на приймальній стороні, несе корисну інформацію лише в тому випадку, якщо є невизначеність щодо стану джерела повідомлень. Якщо дослід має лише один результат і не містить ніякої невизначеності, то спостерігач наперед знатиме результат цього досліду і не отримає ніякої інформації. Хай дослід має два рівноімовірні результати. Наприклад, результат контролю, повинен вказати, що контрольований параметр знаходиться в межах норми або поза її межами. Повідомлення в цьому випадку може приймати два значення і містить певну інформацію. Розглянемо як третій приклад - джерело, вихідна напруга якого може з однаковою імовірністю приймати десять різних значень. В цьому випадку буде більша попередня невизначеність щодо джерела ніж у попередньому, а повідомлення (конкретний результат досліду), що поступив, дасть більш уточнену характеристику стану входу джерела. Розглянемо загальний випадок, коли джерело може передавати незалежні і несумісні повідомлення  EMBED Equation.3 
 із імовірностями  EMBED Equation.3 
 відповідно. Природно, що чим менша апріорна імовірність події, тим більшу кількість інформації вона несе. Так, наприклад, повідомлення про те, що влітку температура повітря в Криму вища нуля, не несе істотної інформації, бо імовірність такої події дуже велика. Повідомлення ж про те, що температура повітря на Південному березі Криму в червні нижча нуля, містить значно більшу кількість інформації, бо така подія є вельми рідкісною. Тому природно припустити, що кількісною мірою невизначеності окремого повідомлення, а також інформації, яка ним передається, може бути величина, обернена його апріорній імовірності  EMBED Equation.3 
. Проте така міра суперечлива тим, що у разі достовірної події її імовірність рівна одиниці, і кількість інформації, згідно прийнятій мірі, рівна одиниці. Насправді ж результат такого досліду не дає ніякої інформації. Крім того, така міра не має властивості адитивності. Дійсно, якщо має місце складна подія із двох незалежних подій  EMBED Equation.3 
 то імовірність такої події визначатиметься добутком імовірностей  EMBED Equation.3 
. Кількість інформації в складному повідомленні повинна оцінюватися величиною  EMBED Equation.3 
. З цієї точки зору найбільш прийнятною є логарифмічна міра кількості інформації  EMBED Equation.3 
 (1.1) При цьому кількість інформації, що міститься в складному повідомленні із двох, що представляє сукупність незалежних подій  EMBED Equation.3 
 буде рівна  EMBED Equation.3 
 Логарифмічна міра, як видно, має властивість адитивності. Крім того, ця міра у разі подій з одним результатом дає нульову кількість інформації. Вираз (1.1) характ...